El Pentágono insta a las empresas de inteligencia artificial a compartir más sobre su tecnología

El principal funcionario de inteligencia artificial del Departamento de Defensa dijo que la agencia necesita saber más sobre las herramientas de inteligencia artificial antes de comprometerse plenamente con el uso de la tecnología e instó a los desarrolladores a ser más transparentes.

Craig Martell, director de inteligencia digital y artificial del Pentágono, quiere que las empresas compartan información sobre cómo se construye su software de inteligencia artificial (sin perder su propiedad intelectual) para que el departamento pueda “sentirse cómodo y seguro” al adoptarlo.

El software de inteligencia artificial se basa en grandes modelos de lenguaje, o LLM, que utilizan conjuntos de datos masivos para impulsar herramientas como chatbots y generadores de imágenes. Los servicios normalmente se ofrecen sin mostrar su funcionamiento interno, en la llamada caja negra. Eso dificulta que los usuarios comprendan cómo la tecnología llega a tomar decisiones o qué hace que su trabajo mejore o empeore con el tiempo.

"Sólo estamos obteniendo el resultado final de la construcción del modelo; eso no es suficiente", dijo Martell en una entrevista. El Pentágono no tiene idea de cómo están estructurados los modelos o qué datos se han utilizado, dijo.

Las empresas tampoco explican qué peligros podrían representar sus sistemas, dijo Martell.

“Están diciendo: 'Aquí está. No te contamos cómo lo construimos. No te vamos a decir en qué es bueno o malo. No les diremos si es parcial o no'”, dijo.

Describió tales modelos como el equivalente de “tecnología extraterrestre encontrada” para el Departamento de Defensa. También le preocupa que sólo unos pocos grupos de personas tengan suficiente dinero para crear un LLM. Martell no identificó ninguna empresa por su nombre, pero Microsoft Corp., Google de Alphabet Inc. y Amazon.com Inc. se encuentran entre los que desarrollan LLM para el mercado comercial, junto con las nuevas empresas OpenAI y Anthropic.

Martell invitará a la industria y a los académicos a Washington en febrero para abordar sus preocupaciones. El simposio del Pentágono sobre datos de defensa e inteligencia artificial tiene como objetivo determinar qué trabajos pueden ser adecuados para realizar los LLM, dijo.

El equipo de Martell, que ya dirige un grupo de trabajo para evaluar los LLM, ya ha encontrado 200 usos potenciales para ellos dentro del Departamento de Defensa, dijo.

"No queremos detener los grandes modelos lingüísticos", afirmó. "Sólo queremos entender el uso, los beneficios, los peligros y cómo mitigarlos".

Hay "un gran aumento" dentro del departamento de personas a las que les gustaría utilizar los LLM, dijo Martell. Pero también reconocen que si la tecnología alucina (el término utilizado cuando el software de IA fabrica información o entrega un resultado incorrecto, lo cual no es raro), ellos son los que deben asumir la responsabilidad por ello.

Espera que el simposio de febrero ayude a construir lo que llamó “un modelo de madurez” para establecer puntos de referencia relacionados con las alucinaciones, los prejuicios y el peligro. Si bien podría ser aceptable que el primer borrador de un informe incluyera errores relacionados con la IA (algo que un ser humano podría eliminar más adelante), esos errores no serían aceptables en situaciones más riesgosas, como la información necesaria para tomar decisiones operativas.

Una sesión clasificada en el evento de tres días de febrero se centrará en cómo probar y evaluar modelos y protegerse contra la piratería.

Martell dijo que su oficina desempeña un papel de consultoría dentro del Departamento de Defensa, ayudando a diferentes grupos a encontrar la forma correcta de medir el éxito o el fracaso de sus sistemas. La agencia tiene más de 800 proyectos de IA en marcha, algunos de ellos relacionados con sistemas de armas.

Dado lo que está en juego, el Pentágono aplicará un estándar más alto sobre cómo utiliza los modelos algorítmicos que el sector privado, dijo.

“Habrá muchos casos de uso en los que habrá vidas en juego”, afirmó. "Así que permitir la alucinación o como queramos llamarla, simplemente no será aceptable".